雖然基本的凸性涵蓋了加法與伸縮,但透過 點對點上確界 是構建非平凡凸函數並建立對偶性的基礎運算。它指出,即使我們面對的是無限多個凸函數的家族,其「上包絡線」仍保持凸性。這一橋樑使我們得以利用簡單的線性元件分析複雜的凸形態。
1. 技術定義
對於一組函數 $\{f(\cdot, y) \mid y \in \mathcal{A}\}$,點對點上確界定義為:
$$g(x) = \sup_{y \in \mathcal{A}} f(x, y)$$
此函數的定義域為所有函數在該族中均有定義且上確界為有限值的點集:
$$\text{dom } g = \{x \mid (x, y) \in \text{dom } f \text{ 對所有 } y \in \mathcal{A}, \sup_{y \in \mathcal{A}} f(x, y) < \infty\}$$
圖像觀點
從幾何角度來看,上確界函數的上圖(epigraph)正是各個個別上圖的交集:
$$\text{epi } g = \bigcap_{y \in \mathcal{A}} \text{epi } f(\cdot, y)$$
由於每個個別的上圖都是凸集(因為 $f(x, y)$ 關於 $x$ 是凸的),而任意多個凸集的交集本身也是凸集,因此 $g(x)$ 的凸性得到保證。
2. 重要範例
- 支撐函數: $S_C(y) = \sup \{ y^T x \mid x \in C \}$。此函數總是凸的,無論集合 $C$ 是否凸,因為它是 $y$ 的線性(仿射)函數的上確界。
- 至最遠點的距離: $f(x) = \sup_{y \in C} \|x - y\|$。即使集合 $C$ 形狀不規則,$f(x)$ 關於 $x$ 仍是凸函數,因為範數是 $x$ 的凸函數。
- 最大特徵值: 對於一個對稱矩陣 $X$,$f(X) = \lambda_{\max}(X)$ 是凸函數。這來自 Rayleigh 商:$\lambda_{\max}(X) = \sup\{y^T X y \mid \|y\|_2 = 1\}$。它是 $X$ 的線性函數的上確界。
定理:以仿射函數表示
定理
幾乎所有的凸函數都可以表示為一族仿射函數(全域下界估計)的點對點上確界。
直覺
在每一個點 $x_0$,凸函數 $f$ 都有一個支撐超平面(一個仿射函數 $h(x) = f(x_0) + g^T(x-x_0)$)。透過取所有這些支撐超平面的上確界,我們可以精確重建原函數 $f$。
🎯 核心原則
點對點上確界保留凸性,點對點下確界保留凹性。這正是範數、譜函數和對偶問題凸性的關鍵所在。
$$g(x) = \sup_{y \in \mathcal{A}} f(x, y) \implies g \text{ 為凸函數,若 } f(\cdot, y) \text{ 對所有 } y \text{ 均為凸函數}$$